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(57) Abstract: 

PROBLEM TO BE SOLVED: To enable an operator to 
easily, precisely and quickly obtain vehicle information 
by arranging a human being sensing means to generate 
an access signal by recognizing that a sensing object is 
an operation finger, on a switch operation means. 

SOLUTION: A human being sensing means 14 is a 
temperature sensing device centrally constituted of an 
infrared ray sensor 142 to sense infrared rays from an 
object approaching an access area 14b or an operation 
finger 55 reaching an access distance 14c and a 
microcomputer to generate an access signal 14a by 
recognizing that a sensing object 54 is the operation 
finger 55 on the basis of a temperature signal 142a 
detected by the infrared ray sensor 142. An operator can 
search a control panel 12 in a blind operating feeling 
without moving a line of sight of the operator at 
vehicle driving time onto the control panel 12 even in a 
utilization shape in a condition of not being a resting 
condition like an operator at vehicle driving time. 
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Interactive computer system e.g. mouse with hand gesture controlled 
operation - has 2 or 3 dimensional user surface that allows one or two 
hand input control of computer 
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Abstract 



The interactive computer system employs an input facility that responds to the movements of one or 
both hands of the user to manipulate functions. The process may be based upon either a 2 or 3 
dimensional user surface. 

The system responds to the gestures provided by hand movement and translates the movements into 
commands that are then used to control processing. Key features of the motions are extracted and 
stored. 

ADVANTAGE - Improves the communication between man and computer. 
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© Gestik Computer 

@ Datenverarbeitungssyatem, welches durch Ausd rucks for- 
men dar menschlichen Gestik gesteuert wird. Es warden 
Bilder das menschlichen Korpers oder von Korperteilen 
aufgenommen und aus diesen warden Ausdrucksformen der 
menschlichen Gestik extrahiert. Diese werden in Befehle zur 
Steuerung des Oaten vera rbeitungssystems Gbersetzt In 
Verbindung mit einer grephischen Benutzerbberftache ist 
auf diese Weiae die Steuerung etnas derartigen Datenverar- 
beitungssystems direkt mit den Bewegungen der menschli- 
chen Hand bzw. beider Hande oder endow gestischer 
Ausdrucksformen ohne Zuhilfenahme technischer Eingabe- 
medien, wie z. 8. einer Maua, moglich. 



3 



Ui 

Q 



BUNDESDRUCKEREI 06.93 308 030/202 



5/49 



1 

Beschreibung 



DE 42 01 934 Al 



Die Verbessemng der Kommunikation zwischen 
Mensch und Maschinc und die Suchc nach neuen Einga- 
bctechniken gewinnt bedingt durch immer komplexer 
werdende Computeranwendungen immer mehr an Be- 
deutung. Aus diesem Grunde ist es ein Ziel vieler techni- 
scher Entwicklungen, neben den klassischen Eingabege- 
raten eines Computers, wie z. B. Tastatur, Graphik-Ta- 
blett, Maus eta und in Entwicklung befindiichen Einga- 
bemethoden, wie Sprach- und Handschrifterkennung, 
neue, der naturlichen ra*um!ichen menschlichen Kom- 
munikation angepaOte Interaktionsmoglichkeiten mit 
der Maschine 2u entwickeln. Hierf Or bieten sich die Ge- 
stik und Mimik des Menschen auf natiirliche Weise an, 
da diese Ausdrucksformen in der natUrlichen Kommuni- 
kation zwischen Menschen von groQer Bedeutung sind 
Urn diese Ausdrucksformen des Menschen als Eingabe- 
methode Fur Computer nutzbar zu machen, mQssen 
fCopf- und Kdrperbewegungen erkannt und interpre- 
tiert werden. 

Das bisher einzige am Markt tatsachlich etablierte 
benutzerfreundliche Eingabemedium fQr Computer ist 
die Maus. Betrachtet man den EinfluB dieses Eingabe- 
medium s auf die gesamte Entwicklung von Computern 
bzw. deren Benutzerschnittstellen, so stellt man eine 
sehr groBe Steigerung der.Benutzerfreundlichkeit und 
der Effektivitat von damit ausgerusteten Computern 
fest Fensteroberflachen, in denen graphische Objekte 
(Icons) mit der Maus manipuliert werden kannen, stellen 
im Vergleich zu den alten, an der Tastatur orientierten 
Bedienweisen eine vOllig neue An dar, Computer zu 
benutzen. Dieser qualitative Sprung in der Bedienung 
ermdgiichte eine wesentliche Steigerung der Arbeits- 
produktivit&t, eine deutliche Verringerung der Anlern- 
zeiten und machte viele Computeranwendungen erst 
mdglich. 

Die Maus ist ein zweidimensionales Eingabemedium 
1m Gegensatz dazu denkt und bewegt sich der Mensch 
in dreidimensionalen Umgebungen. Seine Gesten und 
Wahmehmungen sind raumlich gepragt. Diese Umstan- 
de soil ten konsequenter Weise in einem dreidimensio- 
nalen Eingabemedium und in entsprechenden dreidi- 
mensionalen Benutzeroberflachen ihre Enuprechung 
finden. 

Neben der Maus wurde in den letzten Jahren ein 
weiteres Eingabemedium, welches als Data Glove (Da- 
tenhandschuh) bezeichnet wird, bekannt Diese Date 
Glove wurde in den Jahren 1984 bis 1987 von der Firma 
VPL- Research von Thomas G. Zimmermann und L 
Young Harvill entwickelt Der Data Glove flbersetzt 
Bewegungen der Hand und der Finger in elektrische 
Signale. Zwischen zwei Stofflagen verlaufen fieberopti- 
sche Kabel entiang aller Finger und des Daumens. Beide 
Enden jedes Kabels mOnden in ein Interface-Board na- 
he des Handgelenks. Eine lichtemittierende Diode an 
einem Ende sendet Licht entiang des Kabels zu einem 
Phototransistor am anderen Ende, der das Licht in ein 
elektrisches Signal umwandelt Das Signal gelant vom 
Handgelenk zum angeschlossenen Rechner durch ein 
angeschlossenes KabeL Je starker die Finger gekrUmmt 
werden, desto grOfler ist der Lichtverlust im fieberopti- 
schen Kabel und desto kleiner damit das entsprechende 
elektrische Signal. Die Lage und Orientierung der Hand 
im Raum wird mit Hilfe eines sog. Pollhemus-Sensors 
(Mc Donnel Douglas Corporation), der auf dem Hand- 
rOcken montiert wird, bestimmt. Dieser Sensor miBt die 
Starke und Orientierung dreier aufeinander senkrecht 



stehender kOnstlich erzeugter Magnetf elder im Raum. 

Die Nachteile des Data Glove sind in erster Linie in 
seinem hohen Preis und in seiner relativ hohen Anflllig- 
keit gegenflber mechanischen EinflQssen zu sehea Fer- 
5 ner bestehen erhebliche Akzeptanzprobleme, da der 
Data Glove nicht immer angenehm zu tragen ist Ferner 
schrankt der Data Glove die Beweglichkeit des Anwen- 
ders durch Zufuhrungskabel und sein Gewicht ein. Der 
Benuuer ist durch den Data Glove allgemein in seiner 

to Aktionsf&higkeit eingeschrankt, da er die Hand nicht fur 
weitere Arbeiten, wie z. B. Schreiben, verwenden kann. 

Die Firma Xerox Palo Alto Research Center, der Er- 
finder der Schreibtischbenutzeroberflachen von Com- 
putersystemen. stellte vor kurzem einen Prototyp einer 

is dreidimensionalen Benutzeroberflache vor. Die Idee ist 
hierbei, da6 sich auf dem Bildschirm Strukturen befin- 
den, weiche sich in Echtzeit im dreidimensionalen Raum 
bewegen, und vom menschlichen visuellen System in 
ihrer raumlichen Struktur wahrgenommen und inter- 

20 pretiert werden (Mark A. Clarkson, Xerox PARC: "An 
Easier Interface, Byte Magazine", February 1991, pp. 
277— 282; George G. Robertson, Stuart K. Card and 
Jock D. Mackinlay, Xerox PARC: The Cognitive Co- 
processor Architecture for Interactive User Interfaces", 

25 Proceedings of the ACM SIGGRAPH Symposium on 
User Interface Software and Technology, New York 
1989, pp. 10-18). 

Fur eine sinnvolle Arbeit mit derartigen dreidimen- 
sionalen Benutzeroberflachen wird ein dreidimensiona- 

30 les Eingabegerat fQr Computer bendtigt Wunschens- 
wert ist ein dreidimensionales Eingabemedium, welches 
den Benuuer nicht behindert so dafl er frei arbeiten 
kann, das vom Benutzer mdglichst wenig Anpassung an 
seinen Rechnerarbeitsplatz fordert, das in der Lage ist, 

35 menschliche Metaphern zu erkennen und zu interpretie- 
ren und das relativ unabhangig gegenQber Umweltein- 
flQssen ist 

Der Erfindung liegt die Aufgabe zugrunde, ein Daten- 
verarbeitungssystem anzugeben, welches in der Lage 

40 ist, die Ausdrucksformen der menschlichen Gestik di- 
rekt in Befehle zu seiner Steuerung umzusetzen. Diese 
Aufgabe wird durch ein Datenverarbeitungssystem mit 
Merkmalen nach Anspruch 1 geldst 
Bei diesem Datenverarbeitungssystem, welches durch 

45 Ausdrucksformen der menschlichen Gestik gesteuert 
wird, sind Mittel vorgesehea zur Aufnahme von Bildern 
des menschlichen Kdrpers oder von K6rperteilen, zur 
Extraktion solcher Ausdrucksformen aus solchen Bil- 
dern, und zur Obersetzung solcher Ausdrucksformen in 

50 Befehle zur Steuerung des Datenverarbeitungssystems. 
Ein deraruges Datenverarbeitungssystem macht die 
Verwendung technischer Eingabemedien, wie z. B. einer 
Maus oder einer Tastatur, weitgehend, wenn nicht vdl- 
lig, entbehrlich. In einer bevorzugten AusfOhrungsform 

55 der Erfindung ist bei dem Datenverarbeitungssystem 
eine graphische Benutzeroberflache vorgesehen, deren 
Bedienungselemente mit Hilfe von Objekten manipu- 
liert werden kdnnen, weiche extrahierte Ausdrucksfor- 
men der menschlichen Gestik darstellen, wodurch das 

60 Datenverarbeitungssystem gesteuert wird. Die graphi- 
sche Benutzeroberflache kann dabei sowohl zweidi- 
mcnsional als auch dreidimensional sein. Eine Weiterbil- 
dung der Erfindung sieht vor, daB extrahierte Aus- 
drucksformen der menschlichen Gestik durch Objekte 

65 auf dieser graphischen Benutzeroberflache dargestellt 
werden, weiche geeignet sind, Bewegungen und Stellun- 
gen der menschlichen Hand oder beider Hftnde eines 
Menschen zu visualisieren. Dabei ist es besonders vor- 
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teilhaft, wenn die graphische Benutzeroberflache des 
Datenverarbeitungssystems Strukturmerkmale der rea- 
len Arbeitsumgebung eines typischen Anwenders des 
Datenverarbeitungssystems oder Strukturmerkmale 
von Gegenstanden aus dieser Arbeitsumgebung auf- 5 
weist, wobei Bedienungselemente dieser Benutzerober- 
flache mit Hilfe graphischer Darstellungen von Gegen- 
standen aus dieser Arbeitsumgebung oder Teilen so!- 
cher Gegenstande visualisiert werden. Je nach Anwen- 
dungsart kann die graphische Benutzeroberflache dabei 10 
z. B. Strukturmerkmale eines Schreibtisches aufweisen. 
Zusatzlich oder altemativ dazu kann die graphische Be- 
nutzeroberflache auch Strukturmerkmale eines Kartei- 
kastens oder mehrerer Karteikasten aufweisen. Fur vie- 
le Anwendungen ist es vorteilhaft, wenn die graphische 15 
Benutzeroberflache auBcrdem Strukturmerkmale eines 
Schriftstucks oder mehrerer Schrifutucke aufweist 
Schlietilich gibt es eine Reihe von Anwendungen, far 
welche die graphische Benutzeroberflache vorteilhaft 
Strukturmerkmale eines Aktenschranks oder mehrerer 20 
Aktenschranke aufweist Fur eine Reihe von Anwen- 
dungen ist es vorteilhaft, wenn die Benutzeroberflache 
gleichzeitig Strukturmerkmale von mehreren der ge- 
nannten Arbeitsumgebungen bzw. von mehreren Ge- 
genstanden aus einer Arbeitsumgebung aufweist 25 

In anderen Anwendungen sind graphische Benutzer- 
oberflachen besonders geeignet welche Strukturmerk- 
male einer technischen Leitwarte aufweisen. SchlieBlich 
ist es in einer Reihe von medizintechnischen Anwendun- 
gen vorteilhaft wenn die graphische Benutzeroberfia- 30 
che Strukturmerkmale bestimmter medizintechnischer 
Gerate aufweist 

Die Extraktion von Ausdrucksformen der menschli- 
chen Gestik gelingt besonders zuverlassig und efftzient 
wenn zu diesem Zweck die Lage von Markierungen auf 35 
der Oberflache des menschlichen Korpers ausgewertet 
wird. Bei vielen Anwendungen kommt hierflir bevor- 
zugt die Auswertung der Lage von Markierungen auf 
der Handoberfiache in Betracht In anderen Anwendun- 
gen ist es vorteilhaft die Blickrichtung eines Anwen- 40 
ders, seine Augenbewegungen, seine Kopfbewcgungen, 
seine Mundbcwegungen, seine Mimik oder die Be we- 
gung des Korpers insgesamt auszuwerten. Mit Hilfe ei- 
nes derartigen Datenverarbeitungssystems ist die intui- 
tive Bedienung eines Computers in verschiedensten An* 45 
wendungen m&glich. Im Ergebnis wird hierdurch quasi 
ein neues dreidimensionales Eingabegerflt for Compu- 
ter geschaffen, welches Handgesten und Bewegungen 
der menschlichen Hand erkennt verfolgt interpretiert 
und dann zur Steuerung von Rechneraktionen verwen- 50 
det 

Gegenuber bestehenden Eingabemedien wie z. B. ei- 
ner Maus oder einem Trackball, besitzt die erfindungs- 
gemaSe Losung folgende Vorteile: Sie gewahrleistet ei- 
ne noch intuitivere Bedienbarkeit des Rechners, welche 5s 
vom Benutzer ein Minimum an Anpassung an seinen 
Rechnerarbeitsplatz fordert Die Freiheit des Benutzers 
wird weitgehend erhalten, da er kein zusatzliches Einga- 
begerat bedienen mu& und deshalb in seiner gewohnten 
Arbeitsumgebung frei weiterarbeiten kann. Beide Han- eo 
de des Benutzers konnen gleichzeitig zur Steuerung des 
Datenverarbeitungssystems verwendet werden. Die 
raumliche Welt des Benutzers wird bei Verwendung 
einer dreidimensionalen Benutzeroberflache in eine 
raumliche Interaktionswelt mit dem Rechner abgebil- 65 
det 
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Patentanspruche 

1. Datenverarbeitungssystem, welches durch Aus- 
drucksformen der menschlichen Gestik gesteuert 
wird, mit Mitteln 

— zur Aufnahme von Bildern des menschli- 
chen Kdrpers oder Teilen davon, 

— zur Extraktion solcher Ausdrucksformen 
aus solchen Bildern, und 

— zur Obersetzung solcher Ausdrucksformen 
in Befehle zur Steuerung des Datenverarbei- 
tungssystems. 

2. Datenverarbeitungssystem nach Anspruch 1 mit 
einer graphischen Benutzeroberflache, auf der er- 
ste Objekte sichtbar sind, welche Bedienungsele- 
mente der Benutzeroberflache darstellen, und auf 
der zweite Objekte sichtbar sind, welche extrahier- 
te Ausdrucksformen der menschlichen Gestik dar- 
stellen, wobei erste Objekte mit Hilfe von zweiten 
Objekten manipuliert werden kOnnen, wodurch das 
Datenverarbeitungssystem gesteuert wird. 

3. Datenverarbeitungssystem nach Anspruch 2 mit 
einer zweidimensionalen graphischen Benutzer- 
oberflache. 

4. Datenverarbeitungssystem nach Anspruch 2 mit 
einer dreidimensionalen graphischen Benutzer- 
oberflache. 

5. Datenverarbeitungssystem nach einem der An- 
spruche 2 bis 4, bei dem extrahierte Ausdrucksfor- 
men der menschlichen Gestik durch Objekte dar- 
gestellt werden, welche geeignet sind, Bewegungen 
und Stellungen der menschlichen Hand oder beider 
Hande eines Menschen zu visualisieren. 

6. Datenverarbeitungssystem nach einem der An- 
spruche 2 bis 5, dessen graphische Benutzeroberfla- 
che Strukturmerkmale der realen Arbeitsumge- 
bung eines typischen Anwenders des Datenverar- 
beitungssystems oder Strukturmerkmale von Ge- 
genstanden aus dieser Arbeitsumgebung aufweist 
wobei Bedienungselemente dieser Benutzerober- 
flache mit Hilfe graphischer Darstellungen von Ge- 
genstanden aus diese Arbeitsumgebung oder Tei- 
len solcher Gegenstande visualisiert werden. 

7. Datenverarbeitungssystem nach einem der An- 
sprilche 2 bis 6, dessen graphische Benutzeroberfla- 
che Strukturmerkmale eines Schreibtisches auf- 
weist 

8. Datenverarbeitungssystem nach einem der An- 
sprtlche 2 bis 7, dessen graphische Benutzeroberfia- 
che Strukturmerkmale eines Karteikastens oder 
mehrerer Karteikasten aufweist 

9. Datenverarbeitungssystem nach einem der An- 
spniche 2 bis 8, dessen graphische Benutzeroberfla- 
che Strukturmerkmale eines Schriftstucks oder 
mehrerer Schrif tstucke aufweist 

10. Datenverarbeitungssystem nach einem der An- 
sprttche 2 bis 9, dessen graphische Benutzeroberfla- 
che Strukturmerkmale eines Aktenschranks oder 
mehrerer Aktenschranke aufweist 

1 1. Datenverarbeitungssystem nach einem der An- 
spruche 2 bis 10, dessen graphische Benutzerober- 
flache Strukturmerkmale einer technischen Leit- 
warte aufweist 

12. Datenverarbeitungssystem nach einem der An- 
sprOche 1 bis 1 1, dessen graphische Benutzerober- 
flache Strukturmerkmale medizintechnischer Ge- 
rate aufweist 

13. Datenverarbeitungssystem nach einem der vor- 
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hcrgchendcn Ansprflchc welches die Lage von 
Markierungen auf der Oberflache des menschli- 
chen Korpers zur Extraktion von Ausdrucksfor- 
men der menschlichen Oestik auswertet 

1 4. Datenverarbeitungssystem nach einem der vor- 5 
hergehenden Anspruche. welches die Lage von 
Markierungen auf der Handoberflache zur Extrak- 
tion von Ausdrucksformen der menschlichen Ge- 
stik auswertet 

15. Datenverarbeitungssystem nach einem der vor- 10 
hergehenden Anspruche, welches die Blickrichtung 
eines Anwenders auswertet 

16. Datenverarbeitungssystem nach einem der vor- 
hergehenden Anspruche, welches die Augenbewe- 
gungen eines Anwenders auswertet is 

17. Datenverarbeitungssystem nach einem der vor- 
hergehenden Ansprflche, welches die Kopfbewe- 
gung eines Anwenders auswertet 

18. Datenverarbeitungssystem nach einem der vor- 
hergehenden Anspruche, welches die Mundbewe- 20 
gungen eines Anwenders auswertet 

19. Datenverarbeitungssystem nach einem der vor- 
hergehenden Anspruche. welches die Mimik eines 
Anwenders auswertet 

20. Datenverarbeitungssystem nach einem der vor- 25 
hergehenden Anspruche, welches die Korperbewe- 
gung eines Anwenders auswertet 
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